Препоръчителна система на Python: Обяснение на матричната факторизация

В днешния свят, управляван от данни, препоръчителните системи са вездесъщи. От предлагането на продукти на платформи за електронна търговия като Amazon и Alibaba, до препоръчването на филми в Netflix или песни в Spotify, тези системи персонализират потребителското изживяване и стимулират ангажираността. Тази статия предоставя изчерпателен наръчник за изграждане на препоръчителна система, използваща Python и мощна техника, наречена матрична факторизация.

Какво е препоръчителна система?

Препоръчителната система е вид система за филтриране на информация, която предсказва потребителските предпочитания и предлага елементи или съдържание, които потребителите може да намерят за интересни. Основната идея е да се разбере миналото поведение на потребителя (напр. покупки, оценки, история на сърфиране) и да се използва тази информация за прогнозиране на техните бъдещи предпочитания.

Видове препоръчителни системи:

• Филтриране, базирано на съдържание: Препоръчва елементи, подобни на тези, които потребителят е харесал в миналото. Например, ако потребител обича да гледа документални филми за историята, системата може да препоръча други исторически документални филми.
• Колаборативна филтрация: Препоръчва елементи въз основа на предпочитанията на потребители с подобни вкусове. Ако двама потребители са оценили високо подобни елементи и един потребител харесва нов елемент, системата може да препоръча този елемент на другия потребител.
• Хибридни подходи: Комбинира филтриране, базирано на съдържание, и колаборативна филтрация, за да се възползва от силните страни на двете.

Матрична факторизация: Мощна техника за колаборативна филтрация

Матричната факторизация е мощна техника за колаборативна филтрация, използвана за откриване на латентни характеристики, които обясняват наблюдаваните оценки. Основната идея е да се разложи матрица на взаимодействие потребител-елемент на две матрици с по-ниска размерност: потребителска матрица и матрица на елементи. Тези матрици улавят основните взаимоотношения между потребители и елементи.

Разбиране на математиката зад матричната факторизация

Нека обозначим матрицата на взаимодействие потребител-елемент като R, където R_ui представлява оценката, дадена от потребител u на елемент i. Целта на матричната факторизация е да се апроксимира R като произведение на две матрици:

R ≈ P x Q^T

• P е потребителската матрица, където всеки ред представлява потребител и всяка колона представлява латентна характеристика.
• Q е матрицата на елементи, където всеки ред представлява елемент и всяка колона представлява латентна характеристика.
• Q^T е транспонираната матрица на елементи.

Точковото произведение на ред в P (представляващ потребител) и ред в Q (представляващ елемент) апроксимира оценката, която потребителят би дал на този елемент. Целта е да се научат матриците P и Q така, че разликата между прогнозираните оценки (P x Q^T) и действителните оценки (R) да бъде минимизирана.

Често срещани алгоритми за матрична факторизация

• Разлагане на сингулярни стойности (SVD): Класическа техника за матрична факторизация, която разлага матрица на три матрици: U, Σ и V^T. В контекста на препоръчителните системи, SVD може да се използва за факторизиране на матрицата на оценки потребител-елемент. Въпреки това, SVD изисква матрицата да бъде плътна (т.е. да няма липсващи стойности). Следователно, техники като импутация често се използват за попълване на липсващи оценки.
• Независима матрична факторизация (NMF): Техника за матрична факторизация, при която матриците P и Q са ограничени да бъдат неотрицателни. NMF е особено полезна при работа с данни, където отрицателните стойности нямат смисъл (напр. моделиране на теми на документи).
• Вероятностна матрична факторизация (PMF): Вероятностен подход към матричната факторизация, който предполага, че латентните вектори на потребителите и елементите са извлечени от Гаусови разпределения. PMF предоставя принципен начин за справяне с несигурността и може да бъде разширен, за да включва допълнителна информация (напр. потребителски атрибути, характеристики на елементи).

Изграждане на препоръчителна система с Python: Практически пример

Нека се потопим в практически пример за изграждане на препоръчителна система, използваща Python и библиотеката Surprise. Surprise е Python scikit за изграждане и анализиране на препоръчителни системи. Той предоставя различни алгоритми за колаборативна филтрация, включително SVD, NMF и PMF.

Инсталиране на библиотеката Surprise

Първо, трябва да инсталирате библиотеката Surprise. Можете да направите това, като използвате pip:

            pip install scikit-surprise
            

              
                Copy
              
            
          

Зареждане и подготовка на данните

За този пример ще използваме набора от данни MovieLens, който е популярен набор от данни за оценка на алгоритми за препоръки. Библиотеката Surprise предоставя вградена поддръжка за зареждане на набора от данни MovieLens.

            
from surprise import Dataset
from surprise import Reader

# Load the MovieLens 100K dataset
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

Ако имате свои собствени данни, можете да ги заредите, като използвате класа Reader. Класът Reader ви позволява да укажете формата на вашия файл с данни.

            
from surprise import Dataset
from surprise import Reader

# Define the format of your data file
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Load your data file
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

Обучение на модела

Сега, след като заредихме и подготвихме данните, можем да обучим модела. Ще използваме алгоритъма SVD в този пример.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Split the data into training and testing sets
trainset, testset = train_test_split(data, test_size=0.25)

# Initialize the SVD algorithm
algo = SVD()

# Train the algorithm on the training set
algo.fit(trainset)

            

              
                Copy
              
            
          

Правене на прогнози

След обучението на модела, можем да правим прогнози върху тестовия набор.

            
# Make predictions on the testing set
predictions = algo.test(testset)

# Print the predictions
for prediction in predictions:
 print(prediction)

            

              
                Copy
              
            
          

Всеки обект за прогнозиране съдържа потребителския ID, ID на елемента, действителната оценка и прогнозираната оценка.

Оценка на модела

За да оценим работата на модела, можем да използваме показатели като Root Mean Squared Error (RMSE) и Mean Absolute Error (MAE).

            
from surprise import accuracy

# Compute RMSE and MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

Правене на препоръки за конкретен потребител

За да направим препоръки за конкретен потребител, можем да използваме метода algo.predict().

            
# Get the user ID
user_id = '196'

# Get the item ID
item_id = '302'

# Predict the rating
prediction = algo.predict(user_id, item_id)

# Print the predicted rating
print(prediction.est)

            

              
                Copy
              
            
          

Това ще прогнозира оценката, която потребител '196' би дал на елемент '302'.

За да препоръчате топ N елементи за потребител, можете да повторите всички елементи, които потребителят все още не е оценил, и да прогнозирате оценките. След това можете да сортирате елементите по прогнозираните оценки и да изберете топ N елементи.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
 """Return the top N recommendations for each user from a set of predictions."""

 # First map the predictions to each user.
 top_n = defaultdict(list)
 for uid, iid, true_r, est, _ in predictions:
 top_n[uid].append((iid, est))

 # Then sort the predictions for each user and retrieve the k highest ones.
 for uid, user_ratings in top_n.items():
 user_ratings.sort(key=lambda x: x[1], reverse=True)
 top_n[uid] = user_ratings[:n]

 return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Print the recommended items for each user
for uid, user_ratings in top_n.items():
 print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

Оптимизиране на препоръчителната система

Има няколко начина за оптимизиране на работата на препоръчителната система:

Настройка на хиперпараметри

Повечето алгоритми за матрична факторизация имат хиперпараметри, които могат да бъдат настроени за подобряване на производителността. Например, алгоритъмът SVD има хиперпараметри като броя на факторите (n_factors) и скоростта на обучение (lr_all). Можете да използвате техники като търсене в мрежа или рандомизирано търсене, за да намерите оптималните хиперпараметри.

            
from surprise.model_selection import GridSearchCV

# Define the parameters to tune
param_grid = {
 'n_factors': [50, 100, 150],
 'lr_all': [0.002, 0.005, 0.01],
 'reg_all': [0.02, 0.05, 0.1]
}

# Perform grid search
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Print the best parameters
print(gs.best_params['rmse'])

# Print the best score
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

Регуляризация

Регуляризацията е техника, използвана за предотвратяване на пренастройване. Пренастройването възниква, когато моделът научи данните за обучение твърде добре и се представя лошо на невидими данни. Често срещаните техники за регуляризация включват L1 регуляризация и L2 регуляризация. Библиотеката Surprise предоставя вградена поддръжка за регуляризация.

Справяне с проблема със студен старт

Проблемът със студен старт възниква, когато системата има ограничена или никаква информация за нови потребители или нови елементи. Това може да затрудни предоставянето на точни препоръки. Има няколко техники за справяне с проблема със студен старт:

• Филтриране, базирано на съдържание: Използвайте филтриране, базирано на съдържание, за да препоръчате елементи въз основа на техните характеристики, дори ако потребителят не е взаимодействал с тях преди.
• Хибридни подходи: Комбинирайте колаборативна филтрация с филтриране, базирано на съдържание, за да се възползвате от силните страни на двете.
• Препоръки, базирани на знания: Използвайте изрични знания за потребителите и елементите, за да правите препоръки.
• Препоръки, базирани на популярност: Препоръчайте най-популярните елементи на нови потребители.

Мащабируемост

За големи набори от данни, матричната факторизация може да бъде изчислително скъпа. Има няколко техники за подобряване на мащабируемостта на матричната факторизация:

• Разпределени изчисления: Използвайте рамки за разпределени изчисления като Apache Spark, за да паралелизирате изчислението.
• Вземане на проби: Използвайте техники за вземане на проби, за да намалите размера на набора от данни.
• Приблизителни алгоритми: Използвайте приблизителни алгоритми, за да намалите изчислителната сложност.

Реални приложения и глобални съображения

Препоръчителните системи с матрична факторизация се използват в широк спектър от индустрии и приложения. Ето няколко примера:

• Електронна търговия: Препоръчване на продукти на потребителите въз основа на техните минали покупки и история на сърфиране. Например, на потребител в Германия, купуващ екипировка за туризъм, може да бъдат препоръчани подходящо облекло, карти на местни пътеки или подходящи книги.
• Медии и развлечения: Препоръчване на филми, телевизионни предавания и музика на потребителите въз основа на техните навици за гледане и слушане. На потребител в Япония, който обича аниме, може да бъдат препоръчани нови сериали, подобни жанрове или свързани стоки.
• Социални медии: Препоръчване на приятели, групи и съдържание на потребителите въз основа на техните интереси и социални връзки. На потребител в Бразилия, който се интересува от футбол, може да бъдат препоръчани местни футболни клубове, свързани новинарски статии или групи от фенове.
• Образование: Препоръчване на курсове и учебни материали на студентите въз основа на техните учебни цели и академични постижения. На студент в Индия, изучаващ компютърни науки, може да бъдат препоръчани онлайн курсове, учебници или научни статии.
• Пътувания и туризъм: Препоръчване на дестинации, хотели и дейности на пътуващите въз основа на техните предпочитания и история на пътуванията. На турист от САЩ, планиращ пътуване до Италия, може да бъдат препоръчани популярни забележителности, ресторанти или местни събития.

Глобални съображения

Когато изграждате препоръчителни системи за глобална аудитория, е важно да вземете предвид следните фактори:

• Културни различия: Потребителските предпочитания могат да варират значително в различните култури. Важно е да разберете тези различия и да приспособите препоръките съответно. Например, диетичните препоръки за потребител в САЩ може да са различни от тези за потребител в Китай.
• Езикова поддръжка: Препоръчителната система трябва да поддържа множество езици, за да обслужва потребители от различен лингвистичен произход.
• Поверителност на данните: Важно е да се спазват разпоредбите за поверителност на данните в различните страни. Например, Общият регламент за защита на данните (GDPR) в Европейския съюз изисква организациите да получат изрично съгласие от потребителите, преди да събират и обработват личните им данни.
• Часови зони: Обмислете различните часови зони при планиране на препоръки и изпращане на известия.
• Достъпност: Уверете се, че препоръчителната система е достъпна за потребители с увреждания.

Заключение

Матричната факторизация е мощна техника за изграждане на препоръчителни системи. Разбирайки основните принципи и използвайки Python библиотеки като Surprise, можете да изградите ефективни препоръчителни системи, които персонализират потребителското изживяване и стимулират ангажираността. Не забравяйте да вземете предвид фактори като настройка на хиперпараметри, регуляризация, справяне с проблеми със студен старт и мащабируемост, за да оптимизирате работата на вашата препоръчителна система. За глобални приложения обърнете внимание на културните различия, езиковата поддръжка, поверителността на данните, часовите зони и достъпността, за да осигурите положително потребителско изживяване за всички.

Допълнителни проучвания

• Документация на библиотеката Surprise: http://surpriselib.com/
• Набор от данни MovieLens: https://grouplens.org/datasets/movielens/
• Техники за матрична факторизация: Проучете различни вариации и оптимизации на матричната факторизация за колаборативна филтрация.